Curating datasets for object segmentation is a difficult task. With the advent of large-scale pre-trained generative models, conditional image generation has been given a significant boost in result quality and ease of use. In this paper, we present a novel method that enables the generation of general foreground-background segmentation models from simple textual descriptions, without requiring segmentation labels. We leverage and explore pre-trained latent diffusion models, to automatically generate weak segmentation masks for concepts and objects. The masks are then used to fine-tune the diffusion model on an inpainting task, which enables fine-grained removal of the object, while at the same time providing a synthetic foreground and background dataset. We demonstrate that using this method beats previous methods in both discriminative and generative performance and closes the gap with fully supervised training while requiring no pixel-wise object labels. We show results on the task of segmenting four different objects (humans, dogs, cars, birds).
translated by 谷歌翻译
ParaDime is a framework for parametric dimensionality reduction (DR). In parametric DR, neural networks are trained to embed high-dimensional data items in a low-dimensional space while minimizing an objective function. ParaDime builds on the idea that the objective functions of several modern DR techniques result from transformed inter-item relationships. It provides a common interface to specify these relations and transformations and to define how they are used within the losses that govern the training process. Through this interface, ParaDime unifies parametric versions of DR techniques such as metric MDS, t-SNE, and UMAP. Furthermore, it allows users to fully customize each aspect of the DR process. We show how this ease of customization makes ParaDime suitable for experimenting with interesting techniques, such as hybrid classification/embedding models or supervised DR, which opens up new possibilities for visualizing high-dimensional data.
translated by 谷歌翻译
卵巢癌是最致命的妇科恶性肿瘤。该疾病在早期阶段最常是无症状的，其诊断依赖于经阴道超声图像的专家评估。超声是表征附加质量的一线成像方式，它需要大量的专业知识，其分析是主观的和劳动的，因此易于误差。因此，在临床实践中需要进行自动化的过程，以促进和标准化扫描评估。使用监督的学习，我们证明了附加质量的分割是可能的，但是，患病率和标签不平衡限制了代表性不足的类别的性能。为了减轻这种情况，我们应用了一种新颖的病理学数据合成器。我们通过使用Poisson图像编辑将较少常见的质量整合到其他样品中，从而创建及其相应的地面真实分割的合成医学图像。我们的方法在所有班级中都取得了最佳性能，包括与NNU-NET基线方法相比，提高了多达8％。
translated by 谷歌翻译
医学成像中各种各样的分布和分布数据使通用异常检测成为一项艰巨的任务。最近，已经开发了许多自我监督的方法，这些方法是对健康数据的端到端模型，并具有合成异常的增强。但是，很难比较这些方法，因为尚不清楚绩效的收益是从任务本身还是围绕其培训管道来进行的。也很难评估一项任务是否可以很好地通用通用异常检测，因为它们通常仅在有限的异常范围内进行测试。为了协助这一点，我们开发了NOOD，该框架适应NNU-NET，以比较自我监督的异常定位方法。通过将综合，自我监督的任务隔离在其余培训过程中，我们对任务进行了更忠实的比较，同时还可以快速简便地评估给定数据集的工作流程。使用此功能，我们实施了当前的最新任务，并在具有挑战性的X射线数据集上对其进行了评估。
translated by 谷歌翻译
深层模型的概率校准是在安全至关重要的应用（例如医学成像）中非常可取的。它通过将预测概率与测试数据中的实际准确性对齐，使深网的输出概率可解释。在图像分割中，精心校准的概率使放射科医生可以识别模型预测的分割不可靠的区域。这些不可靠的预测通常是由成像伪影或看不见的成像协议引起的室外（OOD）图像。不幸的是，大多数用于图像分割的先前校准方法在OOD图像上表现出色。为了减少面对OOD图像的校准误差，我们提出了一个新型的事后校准模型。我们的模型利用当地级别的扰动的像素敏感性以及在全球层面的形状先验信息。该模型在心脏MRI分割数据集上进行了测试，这些数据集包含来自看不见的成像协议中看不见的成像伪像和图像。与最新的校准算法相比，我们证明了校准误差减少。
translated by 谷歌翻译
胎儿超声（US）中胎盘的自动分割由于（i）（i）胎盘外观的高度多样性而具有挑战性我们禁止在妊娠晚期进行整个胎盘评估的观点。在这项工作中，我们通过多任务学习方法解决了这三个挑战，该方法结合了单个卷积神经网络中胎盘位置（例如，前，后部）和语义胎盘分段的分类。通过分类任务，模型可以从更大，更多样化的数据集中学习，同时在有限的训练集条件下提高分割任务的准确性。通过这种方法，我们研究了多个评估者的注释的变异性，并表明我们的自动分割（前胎盘的骰子为0.86，后胎盘的骰子为0.83），与观察者内和观察者间的变异性相比，我们的自动段性能达到了人级的性能。最后，我们的方法可以使用由三个阶段组成的多视图US采集管道提供整个胎盘分割：多探针图像采集，图像融合和图像分段。这会导致对较大结构（例如胎盘中的胎盘）的高质量分割，其图像伪像降低，这超出了单个探针的视野。
translated by 谷歌翻译
医学图像分析是一个充满活力的研究领域，为医生和医生提供了宝贵的见解以及准确诊断和监测疾病的能力。机器学习为该领域提供了额外的提升。但是，用于医学图像分析的机器学习尤其容易受到自然偏见的影响，例如影响算法性能和鲁棒性的域移位。在本文中，我们在技术准备水平的框架内分析了机器学习，以进行医学图像分析，并回顾因果分析方法在创建健壮且适应性的医学图像分析算法时如何填补空白。我们在医学成像AI/ML中使用因果关系回顾方法，发现因果分析有可能减轻临床翻译的关键问题，但是到目前为止，摄取和临床下游研究受到限制。
translated by 谷歌翻译
有因果关系的机器学习框架可以通过回答反事实问题来帮助临床医生确定最佳治疗方法。我们通过研究左心室射血分数的变化来探索超声心动图的情况，这是从这些检查中获得的最重要的临床指标。我们首次结合了深层神经网络，双因果网络和生成的对抗方法，以建立一种新颖的因果生成模型，这是建立D'Artagnan（深人造双胞胎生成网络）。在将其应用于心脏超声视频之前，我们在合成数据集上证明了我们的方法的合理性，以回答以下问题：“如果患者的射血分数不同，则超声心动图会怎样？”。为此，我们生成了新的超声视频，保留了原始患者的视频样式和解剖学，同时修改了以给定输入为条件的射血分数。我们在反事实视频中获得0.79的SSIM分数为0.79，R2得分为0.51。代码和型号可在以下网址提供：https：//github.com/hreynaud/dartagnan。
translated by 谷歌翻译
我们提出了Cortexode，这是一种用于皮质表面重建的深度学习框架。 Cortexode利用神经普通微分方程（ODE）通过学习差异流来使输入表面变形为目标形状。表面上的点的轨迹将其建模为ODE，其中其坐标的衍生物通过可学习的Lipschitz-Conluble变形网络进行了参数化。这为预防自身干扰提供了理论保证。 Cortexode可以集成到基于自动学习的管道上，该管道可在不到5秒钟内有效地重建皮质表面。该管道利用3D U-NET来预测大脑磁共振成像（MRI）扫描的白质分割，并进一步生成代表初始表面的签名距离函数。引入快速拓扑校正以确保对球体的同构。遵循等曲面提取步骤，对两个Cortexode模型进行了训练，以分别将初始表面变形为白质和曲面。在包括新生儿（25-45周），年轻人（22-36岁）和老年受试者（55-90岁）（55-90岁）（55-90岁）的各个年龄段的大规模神经图像数据集上对拟议的管道进行评估。我们的实验表明，与常规处理管道相比，基于Cortexode的管道可以达到平均几何误差的平均几何误差小于0.2mm的平均几何误差。
translated by 谷歌翻译
本文介绍了多智能体增强学习（MARL）在医学成像中执行3D解剖卷中的导航。我们利用神经风格转移来创建合成计算机断层扫描（CT）代理体房环境，并评估我们代理商的普遍性能力至临床CT卷。我们的框架不需要任何标记的临床数据，并通过多种图像翻译技术轻松集成，从而实现跨模式应用程序。此外，我们仅在2D片上调节我们的代理，在更加困难的成像模型中打破3D引导的地面，例如超声成像。这是在获取标准化诊断视图飞机期间对用户指导的重要一步，提高诊断一致性，并促进更好的案例比较。
translated by 谷歌翻译